Официально эру экзафлопсных вычислений открыл не так давно суперкомпьютер Frontier, показавший в тестах устоявшуюся производительность на уровне 1,102 Эфлопс. Хотя неофициально более мощные машины уже год как работают в Китае, США готовит им достойного противника. Это система El Capitan, которая монтируется в Лос-Аламосской национальной лаборатории (LLNL) в Нью-Мексико. Даже тестовая платформа, состоящая всего из трёх шкафов, уже попала Топ-200 наиболее мощных HPC-систем на планете.

Как и Frontier, основу El Capitan составляют вычислительные узлы HPE Cray EX235a, в которых установлены процессоры AMD EPYC третьего поколения (Milan) и ускорители Instinct MI250X. Три тестовых шкафа получили названия rzVernal, Tioga и Tenaya, и в свежий список TOP500 вошли все трое. Быстрейшей оказалась rzVernal, занявшая 123 место с результатом 4,1 Пфлопс, Tioga расположилась на 135- месте (3,67 Пфлопс), а Tenaya показала всего 2,86 Пфлопс, но и этого хватило для 200 места.

Тестовые стойки El Capitan. Источник: LLNL

В 2008 году для преодоления планки в 1 Пфлопс потребовалось целое здание и система с 12960 чипами IBM Cell и 6948 процессорами AMD Opteron (IBM Roadrunner). Сегодня втрое-вчетверо быстрее работает один шкаф, включающий в себя от двух до пяти стоек. Когда El Capitan будет полностью введён в строй полностью в 2023 году его производительность должна составить свыше 2 Эфлопс. Впрочем, нынешний лидер TOP500 в лице Frontier также может приблизиться к этому рубежу.

Каждый узел El Capitan содержит пару 64-ядерных процессоров AMD EPYC 7003, а также восемь OAM-модулей Instinct MI250X, поэтому удивляться «способностям» новой системы не стоит — один такой модуль развивает 45-90 Тфлопс, в зависимости от типа вычислений, а в менее точных форматах может показать и свыше 3500 Тфлопс. В качестве интерконнекта используется фирменная сеть Cray Slingshot 11, каждый узел оснащается четырьмя адаптерами. Разумеется, при такой плотности размещения мощностей охлаждение может быть только жидкостное.

Конструкция узла HPE Cray EX235a. Источник: HPC Wire

По оценкам некоторых экспертов, у США будет лишь два с небольшим года для того, чтобы удержать ведущие позиции в HPC-сегменте, поскольку к 2025 году число китайских систем экзафлопсного класса может вырасти до 10. При этом и у SunWay (ShenWei) OceanLight, и у Tianhe-3 вполне может выявиться потенциал для модернизации. Но тем интереснее будет битва за Зеттафлоп. Возможно, потесниться в итоге придётся и Arm, и x86.

Барселонский суперкомпьютерный центр (Centro Nacional de Supercomputación, BSC-CNS) и Intel объявили на конференции ISC 2022 о планах по созданию совместной инновационной лаборатории для разработки суперкомпьютеров нового поколения, которые преодолеют зеттафлопсный барьер, то есть будут в 1000 раз быстрее, чем самые мощные современные суперкомпьютеры.

Зеттафлопсные суперкомпьютеры позволят одолеть проблемы, которые на данные момент не поддаются решению. Например, они будут иметь ключевое значение для создания цифровых двойников Земли, моделирующих климатические модели с высокой точностью для изучения влияния глобального потепления. С их помощью можно будет создавать цифровые двойники человеческого тела, которые помогут предотвратить и лечить такие заболевания как рак. Также они помогут учёным узнать, насколько верны модели Вселенной, которые используются в настоящее время.

Для их создания совместная лаборатория будет разрабатывать чипы на базе открытой архитектуры RISC-V. Ожидается, что лаборатория поможет Европе получить независимость в разработке и производстве чипов, которые можно будет использовать при создании, к примеру, автономных автомобилей или ИИ-решений. В настоящее время микропроцессоры в основном разрабатываются и продаются американскими компаниями, а производятся на Тайване, в Южной Корее и США.

Суперкомпьютер MareNostrum 4 (Фото: Barcelona Supercomputing Center)

В течение 10 лет совместная лаборатория получит до €400 млн евро инвестиций от Intel и правительства Испании в рамках программы Strategic Project for the Recovery and Economic Transformation of Microelectronics and Semiconductors (PERTE Chip) согласно плану восстановления, трансформации и обеспечения устойчивости (Recovery, Transformation and Resilience Plan), утверждённому кабинетом министров страны на прошлой неделе. Будущая лаборатория будет расположена в кампусе Норд в Политехническом университете Каталонии.

Ожидается, что совместная лаборатория позволит создать 300 рабочих мест для высококвалифицированного персонала, привлечь поток международных инвестиций и заложить фундамент для дальнейшего развития. Отметим, что это не первый опыт сотрудничества BSC-CNS с Intel — организации совместно занимаются HPC-проектами с 2011 года. В прошлом году Intel заключила соглашение о сотрудничестве с SiPearl, европейским разработчиком процессоров для суперкомпьютеров, а в марте этого года пообещала вложить €80 млрд в создание исследовательских центров и заводов в Европе.

Специалисты австралийского суперкомпьютерного центра Pawsey дополнили свой новый суперкомпьютер Setonix (2,1 Пфлопс, 341-е место в TOP500) производства HPE квантовым «ускорителем» Quantum Brilliance, отличительной особенностью которого является возможность работы при комнатной температуре, что значительно упрощает установку и эксплуатацию. Впрочем, слово ускоритель взято здесь в кавычки неслучайно.

«Квантовый» алмаз Quantum Brilliance (Фото: Pawsey Supercomputing Centre)

Австралийско-немецкий стартап Quantum Brilliance для реализации кубитов используется NV-центры в искусственных алмазах. Такие кубиты устойчивы к изменения в окружающей среде, да и взаимодействовать с ними можно массой разных способов. Однако пока Quantum Brilliance предлагает стоечные системы, включающие до пяти кубитов, что по нынешним временам довольно скромно, и лишь к 2025 году рассчитывают создать 50-кубитовый квантовый ускоритель (вот тут уже без кавычек) в форм-факторе PCIe-карты.

Шасси Quantum Brilliance (Фото: Pawsey Supercomputing Centre)

Тем не менее, это первая HPC-платформа такого рода, которая объединяет традиционный суперкомпьютер и «комнатный» квантовый вычислитель. Установка будет использоваться для демонстрации и тестирования гибридных квантовых и классических вычислений, для поиска оптимальных подходов к разработке ПО для гибридных систем и создания новых алгоритмов, а также для выявления всех нюансов эксплуатации такого тандема. В идеальном случае процесс переноса задач на квантовый вычислитель должен стать таким же простым, как и, например, на GPU.

В конечном итоге авторы совместного проекта надеются демократизировать квантовые вычисления, сделав их гибкими, удобными в использовании и по-настоящему доступными для массового использования не только в специализированных вычислительных центрах, но и на предприятиях, в обычных дата-центрах, на транспорте или даже в мобильных устройствах.

На конференции ISC 2022 компания Intel сделала несколько анонсов, касающихся дальнейшего развития продуктов для высокопроизводительных вычислений (HPC). В частности, компания впервые рассказала о наследнике Ponte Vecchio — ускорителе под кодовым названием Rialto Brdige, первые образцы которого должны появиться в середине 2023 года. Rialto Bridge предложит эволюционное развитие идей, заложенных в Ponte Vecchio, поскольку получит ту же архитектуру, но с улучшениями в части памяти и вычислений.

Итоговый прирост производительности должен составить около трети. Intel также упоминает возможность бесшовного переноса ПО на новые ускорители и обещает повысить производительность подсистемы ввода-вывода, не уточняя деталей. Это может касаться основной памяти, интерконнекта Xe Link и PCIe/UCIe. Единственная однозначная спецификация — переход к форм фактору OAM 2.0, который допускает энергопотребление на уровне 800 Вт.

Изображения: Intel

Rialto Bridge получат до 160 ядер Xe, тогда как у них предшественников их 128. Тайлы (или чиплеты) «переедут» на более тонкие техпроцессы в рамках стратегии IDM 2.0, но Intel пока не говорит, где какие блоки будут производиться. Также можно заметить некоторые изменения в компоновке чипа. Общее число Xe-тайлов (8 шт.) не увеличилось, то есть теперь в каждом из них 20 ядер Xe, а не 16. Ну и отдельного блока Rambo Cache теперь тоже нет, но это не значит, что от него избавились. Вероятнее всего, он перебрался поближе к вычислительным блокам.

Также на ISC 2022 компания напомнила о гибридных ускорителях Falcon Shores с настраиваемым соотношением CPU- и Xe-ядер, анонсированных зимой, и показала результаты некоторых тестов грядущих Intel Xeon Sapphire Rapids с набортной HBM-памятью (до двух-трёх раз быстрее Ice Lake-SP) и Ponte Vecchio. Естественно, в оптимизированных бенчмарках, о чём неоднократно и сообщала, напоминая, что без должной экосистемы ПО любое «железо» смысла не имеет. И в развитие этой системы, в том числе open source, компания активно вкладывается — к текущему моменту она открыла два десятка совместных центров развития oneAPI. Впрочем, на системном ПО Intel также планирует зарабатывать.

Последний на сегодня анонс касается нового открытого продукта XPU Manager, который, судя по всему, является развитием DCM-инструментов Intel. Несмотря на многообещающее название, он пока предназначен только для серверных ускорителей Intel и других производителей. XPU Manager позволяет централизованно, локально или удалённо проактивно следить за их состоянием, проводить глубокую диагностику, настраивать энергопотребление и температурные режимы, а также управлять политиками доступа. Все эти программно-аппаратные новинки подаются под соусом заботы об экологии, поскольку повышение эффективности их работы должно помочь Intel достичь нулевого выброса парниковых газов к 2040 году.

Компания Hewlett Packard Enterprise (HPE) опубликовала сведения о новом французском суперкомпьютере Champollion, названном в честь знаменитого египтолога и лингвиста Жана-Франсуа Шампольона, открывшего миру с помощью Розеттского камня значение египетских иероглифов. Название выбрано не зря — новый кластер должен помочь в разработке новых, более совершенных и точных методов распознавания и обработки естественных языков. Но главная его изюминка не в этом.

С точки зрения аппаратной архитектуры Champollion на сегодняшний день выглядит довольно обычно, являя собой кластер из 20 узлов HPE Apollo 6500 Gen 10 Plus, включающий в себя 160 ускорителей NVIDIA A100, объединённых «умной» InfiniBand-фабрикой NVIDIA Quantum-2. Каждому узлу полагается довольно много памяти — 4 Тбайт RAM + 30 Тбайт NVMe SSD. Но программная составляющая уникальна — машина будет работать под управлением стека HPE Machine Learning Development Environment.

HPE Apollo 6500 Gen 10 Plus. Источник: HPE

Можно сказать, что MLDE — это метасистема, созданная для разработки платформ и моделей машинного обучения. Она базируется на открытых решениях компании Determined, приобретённой HPE в 2021 году, и сохраняет с ней обратную совместимость, что позволит начать обучение какой-либо модели буквально «на дому», а затем воспользоваться более серьёзными ресурсами.

Архитектура Machine Learning Development Environment. Источник: HPE

Такое стандартизированное «поточное производство» моделей машинного обучения, совместимое с популярным инструментарием, вроде TensorFlow и PyTorch, упростит и ускорит все проекты, связанные с данной областью вычислений. Помимо обработки языковых данных и моделей ИИ нового поколения кластер будет использоваться в науке и промышленности.

Размещается суперкомпьютер в ЦОД HPE Center of Excellence, который расположен в городе Гренобль, Франция. Вначале доступ к нему получат только избранные пользователи, но впоследствии HPE планирует предоставить более широкий доступ к ресурсам Champollion. Система является вкладом HPE в инициативу «AI for Humanity», провозглашенную президентом Франции Эммануэлем Макроном в 2018 году с целью развития индустрии и увеличения темпов экономического роста.

SiPearl, европейский разработчик высокопроизводительных и энергоэффективных процессоров для суперкомпьютеров, и американская компания HPE объявили о стратегическом партнёрстве с целью совместной разработки решений для высокопроизводительных вычислений (HPC). Как ожидается, сотрудничество двух компаний, которое расширяет возможности гетерогенных вычислений для суперкомпьютеров и использует европейские архитектуры, позволит ускорить внедрение экзафлопсных систем в Европе.

HPE и SiPearl займутся разработкой комплексной HPC-платформы, которая сочетает в себе решения HPE, разработанные с учётом требований нового поколения суперкомпьютеров к производительности и масштабируемости, и будущий Arm-процессор SiPearl Rhea, который позволит достичь экзафлопсного уровня производительности европейским суперкомпьютерам. Ранее SiPearl заключила похожие соглашения с Intel и NVIDIA.

Источник изображения: SiPearl

Ожидается, что HPE предоставит свою программно-аппаратную платформу, включая интерконнект Slingshot, фирменный компилятор и HPC-стек ПО. Причём изначально закладывается поддержка гетерогенных систем. Кроме того, в рамках партнёрства совместные решения HPE и SiPearl будут предоставлены Центру передового опыта (CoE) HPE в Гренобле (Франция), где проводятся исследования в области полупроводников, чтобы позволит ускорить тестирование и оптимизацию новых продуктов.

На ISC 2022 NVIDIA рассказала о развитии своей экосистемы HPC-продуктов, которые помимо ускорителей и традиционных сетевых решений теперь включают собственные Arm-чип серии Grace и DPU. В частности, компания совместно с HPE и Лос-Аламосской национальной лабораторией (LANL) анонсировала Arm-суперкомпьютер Venado.

Venado станет второй после анонсированной ещё в прошлом году швейцарской системой ALPS на базе Arm-чипов NVIDIA Grace и первой подобной в США. Причём это будет гибридная машина, сочетающая кластер из узлов, включающих только CPU, и кластер с ускорителями. Разработчики совместно создадут программный стек, позволяющий бесшовно переносить нагрузки между обоими типами узлов. Конкретные характеристики суперкомпьютера пока не раскрываются, но уже сейчас говорится о пиковой ИИ-производительности в 10 Эфлопс (вычисления смешанной точности).

Источник: NVIDIA

Суперкомпьютер Venado (как и ALPS) будет построен на платформе HPE Cray EX, которая становится всё более универсальной — сегодня было объявлено о сотрудничестве HPE с разработчиком европейских HPC-процессоров SiPearl, который только вчера объявил об аналогичном соглашении с NVIDIA. Но HPE теперь не единственный поставщик подобных систем. На ISC 2022 было объявлено о том, что HPC-системы на базе Grace будут также поставлять Atos, Dell Technologies, GIGABYTE, Inspur, Lenovo и Supermicro. Часть из них предложит собственные платформы, часть — решения на базе недавно обновлённой HGX-платформы для OEM-вендоров.

Узел ABOF (Фото: LANL)

Venado — не единственный совместный проект NVIDIA и LANL. Ранее разработчики рассказали о работе над вычислительным хранилищем ABOF (Accelerated Box of Flash), объединяющем NVMe SSD и DPU BlueField-2. На последних возложено обслуживания файловой системы ZFS, а также задачи по компрессии данных, поддержке их целостности и т.д. Но это не единственная функция, которую можно возложить на DPU, о чём NVIDIA говорила неоднократно. DPU позволяют не только ускорить ряд операций, но и задействовать облачный подход при использовании суперкомпьютеров.

Источник: NVIDIA

Именно этого добивается, например, в Техасском центре передовых вычислений (TACC, Texas Advanced Computing Center) для суперкомпьютера Lonestar6. Специалисты из Университета штата Огайо (Ohio State University), Университета Дарема (Durham University) и Мюнхенского технического университета занимаются ускорением работы MPI с помощью DPU, а Университетский колледж Лондона — над повышением эффективности планировщика задач. И это далеко не все проекты.

59-я редакция TOP500, публичного рейтинга самых производительных суперкомпьютеров мира, стала наиболее знаменательной за последние 14 лет, поскольку официально был преодолён экзафлопсный барьер. Путь от петафлопса оказался долгим — первой петафлопсной системой стал суперкомпьютер IBM Roadrunner, и произошло это аж в 2008 году. Но минимальным порогом для попадания в TOP500 эта отметка стала только в 2019 году.

Как и было обещано, официально и публично отметку в 1 Эфлопс в бенчмарке HPL на FP64-вычислениях первым преодолел суперкомпьютер Frontier — его устоявшаяся производительность составила 1,102 Эфлопс при теоретическом пике в 1,686 Эфлопс. Система на платформе HPE Cray EX235a использует оптимизированные 64-ядерные процессоры AMD EPYC Milan (2 ГГц), ускорители AMD Instinct MI250X и фирменный интерконнект Slingshot 11-го поколения. Система имеет суммарно 8 730 112 ядер, потребляет 21,1 МВт и выдаёт 52,23 Гфлопс/Вт, что делает её второй по энергоэффективности в мире.

Суперкомпьютер Frontier (Фото: AMD)

Впрочем, первое место в Green500 по данному показателю всё равно занимает тестовый кластер в составе всё того же Frontier: 120 832 ядра, 19,2 Пфлопс, 309 кВт, 62,68 Гфлопс/Вт. Третье и четвёртое места достались европейским машинам LUMI и Adastra, новичкам TOP500, которые по «железу» идентичны Frontier, но значительно меньше. Да и разница в Гфлопс/Вт между ними минимальна. Скопом они сместили предыдущего лидера — экзотичную японскую систему MN-3 от Preferred Networks.

Японская система Fugaku, лидер по производительности в течение двух последних лет, сместилась на второе место TOP500. Третье место у финской системы LUMI с показателем производительности 151,9 Пфлопс — обратите внимание, насколько велик разрыв в первой тройке машин. Наконец, в Топ-10 последнее место занял новичок Adastra (46,1 Пфлопс), который расположен во Франции.

Источник: TOP500

В бенчмарке HPCG всё ещё лидирует Fugaku (16 Пфлопс), но, судя по всему, только потому, что для Frontier данных пока нет. Ну и потому, что результат суперкомпьютера LUMI, который почти на порядок медленнее Frontier, в HPCG составляет 1,94 Пфлопс. Наконец, в HPL-AI Frontier также отобрал первенство у Fugaku — 6,86 Эфлопс в вычислениях смешанной точности против 2 Эфлопс. В общем, у Frontier полная победа по всем фронтам, и эту машину можно назвать не только самой быстрой в мире, но первой по-настоящему экзафлопсной системой.

Если, конечно, не учитывать неофициальные результаты OceanLight и Tianhe-3 из Поднебесной, которые в TOP500 никто не заявил. Число китайских систем в нынешнем рейтинге осталось прежним (173 шт.), тогда как США «ужались» со 150 до 127 шт. Российских систем в списке всё так же семь. Лидерами по числу поставленных систем остаются Lenovo, HPE и Inspur, а по их суммарной производительности — HPE, Fujitsu и Lenovo. С другой стороны, массовых изменений и не было — в нынешнем списке всего около сорока новых систем.

Источник: TOP500

Однако нельзя не отметить явный прогресс AMD — да, чуть больше трёх четвертей машин из списка используют процессоры Intel, но AMD удалось за полгода отъесть около 4 %. При этом AMD EPYC Milan присутствует в более чем трёх десятках систем, а доля Intel Xeon Ice Lake-SP вдвое меньше, хотя эти процессоры появились практически одновременно. Ускорители ожидаемо стали использовать больше — они применяются в 170 системах (было 150). Подавляющее большинство приходится на решения NVIDIA разных поколений, но и для новых Instinct MI250X нашлось место в восьми машинах. Ну а в области интерконнекта Infiniband потихоньку догоняет Ethernet: 226 машин против 196 + ещё 40 с Omni-Path + редкие проприетарные решения.

SiPearl, европейский разработчик высокопроизводительные и энергоэффективных процессоров для суперкомпьютеров, в том числе экзафлопсного класса, и NVIDIA объявили о сотрудничестве, в рамках которого предложат заказчикам совместные решения, включающие HPC-продукты и сетевые компоненты NVIDIA и CPU SiPearl (первым станет Rhea). Сотрудничество направленно на объединение портфолио аппаратных и программных решений обеих компаний, а также на совместную работу в области разработки продуктов и развития бизнеса.

Источник: NVIDIA

NVIDIA и SiPearl создадут прокси-платформу для переноса и анализа рабочих нагрузок, которая позволит наилучшим образом задействовать сильные стороны продуктов обеих компаний, например, HBM-память в процессорах SiPearl и массивно-параллельную архитектуру ускорителей NVIDIA. Кроме того, планируется совместная работа со сторонними европейскими исследовательскими институтами над открытыми инструментами для моделирования SoC и NoC. Компании намерены добиться полной совместимости на уровне «железа», а также совместно развивать программную экосистему для HPC-решений на базе платформы Arm.

Источник: SiPearl

Ранее аналогичное соглашение о сотрудничестве было заключено между SiPearl и Intel. И в том и в другом случае SiPearl, штат которой, к слову, недавно вырос до более чем ста сотрудников, говорит о возможности предоставить европейским заказчикам наиболее оптимальное решение для их задач. Несмотря на то, что Европа стремится стать независимой от США в области высокопроизводительных вычислений (HPC), на первом этапе этого, судя по всему, исключительно своими силами обойтись будет нельзя.

Atos на этой неделе представила Nimbix Supercomputing Suite — набор сервисов для высокопроизводительных вычислений (HPC) на базе облака, основанных на технологиях приобретённого в прошлом году облачного провайдера Nimbix.

Согласно Atos, Nimbix Supercomputing Suite представляет собой набор гибких и безопасных решений для HPC, доступных в качестве услуги (as-a-service). По словам компании, новый сервис обеспечивает его пользователям доступ к ресурсам высокопроизводительных вычислений, искусственного интеллекта и квантовых вычислений.

Atos Nimbix Supercomputing Suite включает в себя первое в отрасли решение federated supercomputing-as-a-service (объединённые суперкомпьютерные вычисления как услуга) Nimbix Federated и сервис Nimbix Dedicated Supercomputing на базе выделенных серверов Atos BullSequana X (bare-metal-as-a-service, BMaaS).

Источник изображения: Atos

Как сообщает компания, Nimbix Federated представляет собой новый подход к объединению мощных компьютеров и облаков вместе с управляемыми сервисами для обеспечения совместных научных вычислений. Впервые операторы как публичных, так и частных инфраструктур смогут использовать ресурсы друг друга с помощью единой сервисной консоли, управляющей всеми задействованными вычислительными зонами и регионами.

Компания Atos известна как производитель HPC-серверов Atos BullSequana X, разработанных для обеспечения максимальной гибкости и эффективности для самого широкого спектра приложений. В рамках нового набора Atos предлагает высокопроизводительные вычисления как услугу (BMaaS) в дополнение к своей линейке оборудования и предоставляет клиентам полный опыт выделенной инфраструктуры и услуг с масштабируемостью по требованию, удобством и гибкостью. Впрочем, Atos не уточнила, какие именно устройства будут использоваться этим сервисом.

Эммануэль Ле Ру (Emmanuel Le Roux), глава Atos по направлению HPC AI & Quantum, отметил, что новый пакет обеспечит производительность и рентабельность, необходимые предприятиям для сред с управляемыми данными.